теорема о кодировании источника

information security

eng.source coding theorem

rus.теорема о кодировании источника

ukr.теорема про кодування джерела

В теории связи: утверждение о том, что выходной поток информации из любого источника, имеющий энтропию в Н единиц на один символ, может быть закодирован с помощью алфавита из N символов таким образом, что символы потока из источника информации будут представлены кодовыми словами, средневзвешенная длина которых не меньше, чем H/log N (где основание логарифма согласуется с единицами измерения энтропии). Кроме того, теорема утверждает, что к этому нижнему пределу можно подойти сколь угодно близко при работе с любым источником, для чего нужно выбрать соответствующий неравномерный код и использовать достаточно длинное расширение источника. Теорема была впервые сформулирована и доказана Клодом Элвудом Шенноном в 1948 году.